TB-3 đã được sử dụng trong Trận Khalkhin Gol và trong cuộc Chiến tranh mùa Đông với Phần Lan. Mặc dù đã được chính thức nghỉ hưu năm 1939, buổi đầu cuộc Chiến tranh giữ nước Vĩ đại ngày 22 tháng 6 năm 1941, Không quân Xô viết vẫn có 51 chiếc hoạt động được, với 25 chiếc nữa thuộc Hải quân Xô viết.[2] Chiếc máy bay này đã tránh được không bị phá huỷ trên mặt đất trong giai đoạn đầu cuộc chiến và những chiếc TB-3 thuộc 3 TBAP (Trung đoàn Ném bom Hạng nặng) đã bắt đầu thực hiện các phi vụ ban đêm ngày 23 tháng 6. Vì sự thiếu hụt các máy bay sẵn sàng chiến đấu nên những chiếc TB-3 cũng phải hoạt động ban ngày mà không có sự hỗ trợ của các máy bay chiến đấu, thực hiện các phi vụ ném bom tầm thấp và tầm trung, chịu rất nhiều tổn thất trước các máy bay chiến đấu cũng như hoả lực mặt đất quân địch. Tới tháng 8 năm 1941, những chiếc TB-3 chiếm 25% lực lượng máy ném bom Xô viết và, được điều khiển bởi những phi công giỏi nhất, thường tiến hành tới ba phi vụ ném bom mỗi đêm.[2] Chiếc máy bay này đã tham gia vào mọi trận đánh lớn cho tới tận năm 1943, gồm cả Trận Smolensk lần thứ nhất, Trận Moscow, Trận Stalingrad, cuộc Phong toả Leningrad, và Trận Kursk. Ngày 1 tháng 7 năm 1945, Quân đoàn không quân số 18 vẫn có 10 chiếc TB-3 hoạt động tích cực.[2]

TB-3 hoạt động liên tục với nhiệm vụ chở hàng và chở lính dù, có khả năng mang tới 35 binh sĩ.[1] Trong năm tháng đầu tiên của cuộc chiến, chiếc máy bay này đã chuyên chở 2.797 tấn hàng hoá và 2.300 người.[2]

TB-3 cũng đã được sử dụng vào nhiều dự án đặc biệt với tư cách máy bay mẹ trong Dự án Zveno, chở các xe tăng hạng nhẹ T-27, T-37 và T-38. Ngày 1 tháng 8 năm 1941, hai chiếc TB-3 theo cấu hình Zveno-SPB, mỗi chiếc mang hai máy bay chiến đấu Polikarpov I-16 với hai quả bom 250 kg (550 lb), đã phá huỷ một nhà máy lọc dầu mà không bị bất kỳ một thiệt hại nào.[2] Ngày 11 tháng 8 và 13 tháng 8 năm 1941, Zveno-SPB đã phá huỷ thành công cây Cầu Vua Carol I trên sông Danube ở Rumani.[2] Các chiến dịch Zveno chấm dứt vào mùa thu năm 1942 vì các máy bay mẹ dễ bị tấn công.

Để ghi nhận vai trò của TB-3 trong cuộc chiến tranh, ba chiếc máy bay đã tham gia vào cuộc diễu hành trên không đầu tiên sau chiến tranh ngày 18 tháng 6 năm 1945.[2]